Theo bản dịch sách “Đồng Khánh địa dư chí” của GSNgô Đức Thọ và các cộng sự ở Viện Hán Nôm thì trong thời phong kiến, lãnh thổ Phú Lâm hiện nay thuộc tổng Mân Xá, huyện Yên Phong, phủ Từ Sơn, trấn Kinh Bắc. Năm 1822, vua Minh Mạng đổi trấn Kinh Bắc thành trấn Bắc Ninh. Năm 1831, nhà vua thực hiện cải cách hành chính trên cả nước: bãi bỏ cấp trấn, thành lập tỉnh Bắc Ninh. Đến thời Đồng Khánh (giai đoạn 1885 – 1889) vẫn được duy trì như trước; tổng Mân Xá, huyện Yên Phong lúc đó có 13 xã, thôn trực thuộc: trong đó 5 làng hiện nay của Phú Lâm chính là 5 xã thống hạt của tổng Mân Xá xưa.
Theo một số ghi chép khác thì khoảng đầu thập niên 1900, tổng Mân Xá nhập thêm Đông Mai, Yên Từ (Tam Sơn) và Ngô Khê của Trâm Khê làm 2 tổng mới là tổng Phong Quang và tổng Ân Phú (bao gồm xã Phú Lâm và Tương Giang hiện nay).[3]
Sau Cách mạng tháng Tám năm 1945 thành công, các đơn vị hành chính cấp tổng và cấp phủ bị chính quyền cách mạng xóa bỏ, cấp xã được mở rộng hơn, nhỏ hơn cấp tổng trước đây nhưng bao gồm một số làng, xóm và có sự thay đổi.
Năm 1952, xã Phú Lâm được thành lập với 5 thôn trực thuộc như hiện nay là Ân Phú, Giới Tế, Đông Phù, Vĩnh Phục và Tam Tảo. Phú Lâm lúc đó là một xã trực thuộc huyện Yên Phong, tỉnh Bắc Ninh.[4]
Ngày14 tháng 03năm1963, Hội đồng Chính phủ ra Quyết định số 25/QĐ về việc sáp nhập hai huyện Tiên Du và Từ Sơn để thành lập huyện Tiên Sơn, đồng thời hai xã Đông Thọ và Văn Môn được chuyển sang huyện Yên Phong, hai xã Tương Giang và Phú Lâm của huyện Yên Phong được chuyển về huyện Tiên Sơn.[5]
